大模型LLM领域，有哪些可以作为学术研究方向？ |
您所在的位置：网站首页 › deep learning英文释义 › 大模型LLM领域，有哪些可以作为学术研究方向？ |
|
这是一个挺好的问题，当前LLM发展到现在可以说已经不单单是一个简单的NLP领域的问题了。我们可以大致将其分为以下几个大类，然后分别来看。我们不能直接去照搬NLP的会议track，但是可以参考https://2023.aclweb.org/calls/main_conference/，同时可以参考GPT-4的团队构成，我认为可以从以下几个方面来看这个问题： LLM本身、支持LLM的算法与工程方向（比如更好更优质的训练方法、如何更高效率的训练、硬件的利用与优化等）、AGI、传统NLP方向、社科方向、自然科学方向、应用方向 下面我们分别来理解一下这几个方向： 大模型本身：大模型本身还存在很大的迭代空间，无论是其当前训练部署的巨大成本，还是其当前所说的事实性的问题，错误的结果，似是而非的回答，被诱导错误，还没有完善的种族等各方面问题等都限制了其发展。大模型后续的发展方向以及各项能力的细化与迭代：当前LLM看起来风光无限，但其详细的后续发展依然不清晰，这是由于大家暂时还不能在“GPT-4的基础上进行迭代”，即目前无法站在巨人的肩膀上，充其量大家只是知道了有这么一个巨人在，怎么找到肩膀依然在探索。同样的，涌现能力，COT，推理能力等各个方向的理解和发展都还具有巨大的空间。更细节的讲，模型的结构，比如T5的架构（en-de），比如LSTM，比如其他的特征提取器都是一个可以探索的方向。模型做大或者做小，都是一个值得探索的方向。支持LLM的方向：训练方法：我们当前看到RLHF、PPO等在GPT-4上面有很好的应用，那这些是不是就足够好了呢？是否有更加高性价比的训练方法可以使用。这是一个很关键的研究方向。Resources and Evaluation：这也是一个非常关键而重要的领域，基于我当前的了解，已经有很多人在做相关的工作了。关于当前的LLM，我们当前已经拥有的各个Benchmark其实并不足够来衡量其全面的能力，这是亟需被完善的一个方向。某种程度上说，这也是当前各个研究机构最容易做、最容易出高质量成果，影响最容易大（学术和非学术，应用上来讲都是）、也最不依赖大模型资源的一个方向了。期待2023年下半年井喷的benchmark和各个领域的数据集。工程与性能优化：模型部署和推理本身是很重要的一个环节。这就不仅仅限于ML/DL/CV/NLP这些方向，数据库、计算机系统等各个方向都与此相关。【这里推荐字节跳动的DA-Transformer，在最终的生成速度上做到了很好的提升】AGI：LLM某种意义上突破了传统意义上人们对人工智能的期待，以前感觉无法解决的问题现在似乎都变得可解了。对于各个研究者来说，这不仅仅是简单的技术方向的指明，更是一种“相信的力量”。有点玄学了，但很少有人愿意在一个不确定的方向上不断投入资金和青春。而当前OpenAI带来的就是这样的方向，所以我们才会看到LLM很快就出圈，不在仅仅限制在NLP领域中。 NLP方向：这是一个很有趣的方向，由于LLM的出现，传统的NLP方向的研究究竟有多少会就此消亡，有多少可以继续保留。毫无疑问，这很大程度上取决于“Resources and Evaluation”的设定，标志有多少问题可以基本宣告在某种程度或者代价下被解决。 第二个很有趣的方向就是LLM的可解释性。这不同于NN的可解释性。如果我们要将这样的模型大规模应用，如何解释其行为，甚至行为原理透明化就会越发的关键，否则，人类不应该让这样的技术掌控人类。我之所以将其放在NLP方向下有两个原因，一个是LLM本身属于NLP内的一个研究方向，另外一个也是由于NLP和语言学关系紧密，从这个角度上看，很多传统NLP学者或许是解释LLM的最佳人选群体。 这部分工作依赖对NLP本身LM的理解，见： 社科方向：社会影响与文化分析。语言本身就不是一个单一的话题，它与社会、文化等关联很大，比如GPT-4发布之后，OpenAI也同时发布了一个对劳动力市场的影响报告，其中预期会有80%的市场就业岗位受到影响。不过这个并不重要，一个社会是一个整体，一个系统，任何一个环节受到影响本质上都会对上下游同步造成影响。比如：对劳动力市场的影响，参见OpenAI发布的研究报告GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models https://arxiv.org/pdf/2303.10130.pdf 。哲学、社会学、心理学等都会受到LLM的冲击影响，如何应对这个浪潮，将会是这几个相关方向上的研究学者们重点需要考虑的问题。模型应用研究（NLP Application）：学术研究与非学术研究。新的LLM出现之后，这是一个急需要被探索和实验的方向。基于当前已知的技术方向，假设一切顺利，那么我们要如何才能最大程度的释放LLM的能量，从而给社会各界都带来足够正面的影响。商业模式。只有足够好的商业模式才能形成好的正循环，一方面在工业界有足够好的应用，能够给企业带来收益；另一方面能够基于此促进研究者不断投入进行优化。从而使这个飞轮转起来。商业模式的思考见HCIHCI：人机交互在ChatGPT出现之后就会受到非常大的影响，自然，简单到会说话就可以上手的交互逻辑过于自然和顺滑，导致每一个用户都可以不受任何阻碍的上手实验这个应用。 安全Trust & safty的问题：在大模型时代，就算MaaS真的很无私很大方的将能力开放给所有人，但依赖服务提供方对自己的道德约束来保证是不合理的，我们需要更好的机制或者技术手段来保证各个使用方自身的安全 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |